Chào đời với tên khai sinh Komori Genjiro (小森 彦次郎, Tiểu Sâm Ngạn Thứ Lang?) ở Kumamoto, tỉnh Higo, Nhật Bản vào năm 1834 với tư cách là con trai thứ hai của Komori Sadasuke (小森 貞助, Tiểu Sâm Trinh Trợ?), gia nhân của daimyō phiên Kumamoto và vợ là Waka (和歌, Hòa Ca?). Vì anh trai của Genjiro là Hanzaemon được chọn làm người thừa kế gia đình, nên ở tuổi 11, ông được cho làm con nuôi Kawakami Genbei (河上 彦兵衛, Hà Thượng Ngạn Binh Vệ?), một hầu cận khác của Kumamoto và được đổi tên thành Kawakami Gensai. Về sau ông nhập học trường của phiên mang tên Jishūkan (時習館), và miệt mài trau dồi học thuật và tập luyện võ thuật. Năm 16 tuổi, ông được gọi đến phục vụ tại thị trấn dưới chân thành Kumamoto với tư cách là người phụ trách quét dọn (Osōji-bōzu お掃除坊主). Mặc dù đây là một vị trí cấp thấp, nhưng Gensai đã dành toàn tâm toàn ý cho nó, sử dụng thời gian rảnh rỗi để trau dồi kỹ năng võ thuật và văn chương, cũng như học sadō (trà đạo) và ikebana (cắm hoa). Tại thời điểm này, Gensai đã gặp hai nhân vật sau này sẽ rất quan trọng trong các hoạt động của Ishin Shishi: Todoroki Buhei và Miyabe Teizō. Nhờ những cuộc thảo luận với họ, ông quan tâm nghiêm túc đến khái niệm kinnō (勤王, cần vương).